Как мы DNS в CDN делали 
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Как доставлаетса контент? 


Клиентское приложение (браузер) делает 2 вещи: 
® Получает ІР-адрес сервера через DNS 
* Выполняет запрос используя |Р-адрес 
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За что боремса? 


Клиентское приложение (браузер) делает 2 веши: 
* Получает ЇР-адрес сервера через DNS — latency! 
* Выполняет запрос используя IP-anpec — latency + каналы! 
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Что такое DNS или как получитБ IP-anpec? 


e DNS: 
* Рекурсивный кеширующий сервер 
* Рекурсивные запросы 
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Что такое DNS или как получить IP-anpec? 


e DNS: 
* Рекурсивный кеширующий сервер 
* Рекурсивные запросы 
e КЭШ И TTL 
* Авторитетные ОМ5-серверы «- будем говорить об этом 
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Что такое DNS или как получить IP-anpec? 


e DNS: 
* Рекурсивный кеширующий сервер 
* Рекурсивные запросы 
e КЭШ И TTL 
* Авторитетные ОМ5-серверы «- будем говорить об этом 
* |P networks 
* BGP routing 
• Autonomous systems 
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Как работает СОМ. Кратко 


e Есть web-cepBep с источником данных 


• Клиент прописывает СМАМЕ-запись с определённым значением 
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CDN-pecypc 


cdn.example.com IN CNAME d.gcdn.co 
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Как работает СОМ. Кратко 


* Есть ууер-сервер c источником данных (origin) 

• Клиент прописывает СМАМЕ-запись c определённым значением 
• В url указывает СОМ-домен 

e Мы проксируем трафик к origin'y и кешируем ответы 

* Profit 
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Как работает СОМ. Кратко 


* Есть ууер-сервер c источником данных (origin) 

• Клиент прописывает СМАМЕ-запись c определённым значением 
• В url указывает СОМ-домен 

e Мы проксируем трафик к origin'y и кешируем ответы 

* Profit 

* Предоставляли красивый поддомен в своём домене 
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BIND и GeolP 


» Эталонный DNS-cepBep 


* Работает 
e Есть механизм view (split horizon) по єёеоїр-признаку 


e Доставляем конфиг puppet om 


e Неудобный конфиг 
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"Geodns' dns server in GO 


* "This is the DNS server powering the NTP Pool system and other 
similar services" 


e Написан на Go, простой конфиг зоны B json 
* Делает то что нужно: ответ на основе базы geoip 
• Есть тип записи Alias 


• Конфиг получаем по cron 
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5% 


cat d.gcdn.co.json 
"zonename": "d.gcdn.co", 


"ttl": 300, 

"data": ( 
"". ("a": [["192.168.1.3",70], ["172.16.10.3",30]]], 
"ru": ("a": [["192.168.20.3", 20], ["172.16.40.5", 2011), 
"en": ("a": [[" 192.0.2.2", 20], ["172.16.40.5", 8011), 
"asia": ("a": [["203.0.113.1",20], ["172.16.40.5",20]]), 
"fi": ("alias": ["ru"]}, 
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Кастомизациа сап-ресурсов клиентов 


* ограничения на терминацию трафика: 
* регуляторы (например, трансляция матчей) 
* снижение стоимости услуги 


* Отдельные зоны клиента приходится кастомизировать либо по 
запросу клиента, либо оперативно чтобы "не перелить" 


e За 2a ОМ5-запросами может быть 2 миллиона ПЁр-запросов 
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Кастомизациа сап-ресурсов клиентов 


* ограничения на терминацию трафика: 
* регуляторы (например, трансляция матчей) 
* снижение стоимости услуги 


* Отдельные зоны клиента приходится кастомизировать либо по 
запросу клиента, либо оперативно чтобы "не перелить" 


e За 2a ОМ5-запросами может быть 2 миллиона П р-запросов 


* Ввели компонент балансировшика для формирования зон 
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Anycast 


(AL) HighLoad 


Anycast 


* B болБшом интернете — минимум /24 подсетБ 
* BGP (Border Gateway Protocol) 

* CBOA автономнаа система 

e ВСР ничего не знает про latency 

* Базово используется as path 

* Количество пиров 


e Про уровни провайдеров (tier). 
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IPv4 Adjacencies 


ASN Name Count 
AS6939 Hurricane Electric LLC 9,070 
AS24482 SG.GS 6,623 
AS174 Cogent Communications 6,403 
AS3356 Level 3 Parent, LLC 6,062 
AS36236 NetActuate, Inc 5,738 
AS3549 Level 3 Communications, Inc. (GBLX) 5,667 
AS199524  G-Core Labs S.A. 5,524 
AS14840 BR.Digital Provider 4,610 
AS51185 Onecom Global Communications LTD 4,226 
А557463 NetlX Communications Ltd. 4,036 


https://bgp.he.net/report/peers (нг) HighLoad T 


Load 


2020 


Domain not found. Регистратор 


* Регистратор разделегировал наш домен no жалобе 
* Вводим категории клиентов 


* Переходим к регистратору с расширенной юридической 
поддержкой 
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Domain not found. ОМ5-сервер 


* Иногда долго отвечает или дропает пакеты 
* Мало внутренних метрик, нет статистики запросов 

e Слабая поддержка со стороны разработчика, свои патчи 
e DNS Пар day 
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GeoDNS: local answer time(sum of 5 local dns responses) 


500 ms 
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GeoDNS: идр port 53 socket receive queue size 


500 K 
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Domain not found. Anycast per NS server 


e Разные точки присутствия для анонса подсетей 


e Авария в одном ДЦ не ломает разрешение имен в регионе 


(AL) HighLoad ” 


Хрупкость интернета 


• jitter 
* packet loss 
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Хрупкость интернета 


• jitter 
* packet loss 
* Сделали доставку фаилов 30H через P2P 
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Проблемы GeolP 


* Мы видим IP-anpec рекурсора, не конечного пользователя 
• Есть EDNS 


• Запросов c EDNS — 30% queries (google public dns — yes, cloudflare 
— no, quad9 — yes) 


* He полное покрытие 
* Сетевая топология He соответствует географии 
* eventually inconsistent 


если адреса Her B geoip — используем reo данные DNS-cepBepa 
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EDNS Client subnet 


Bit Number 
1 1 а 1 1 1 
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Стратегии управлениа трафиком 


e Отправить все на апуса${-адрес 
e Не гарантирует latency 
* Слабый контроль перегрузки со стороны северов 


• Отправить на unicast-anpeca 
* Может страдать latency 
* Неточность базы geoip 
* Время фэйловера в случае полного отказа ДЦ 
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Стратегия управления трафиком. Гибрид 


e Часть Ha unicast-anpeca 


e Часть трафика на апусаѕї-адреса: 
• Страна 
• Континент 
* Мировой anycast 
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DNS. Точки отказа 


* Тор level domain (TLD) 

e М5-серверы — в случае ОМ5-хостинга 

* Разные /24 сети в разных точках присутствия 

* Автономные системы — особенный случай и требования дла ТЕР 
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DNS Metrics 


* prometheus наше BCé, scrape, edns 


* парсинг метрик geodns 
“ Dnstap — детальная статистика запросов, HO "geodns" не может 
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| dnstap-enabled DNS server! 
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Query stats 


* пишем напрямую B clickhouse (без kafka, certbased auth) 
e 20r6 B сутки 

* собираем через dnstap 

* ecrb буфер 

* потерали так потерали 
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Свои бекенд coredns 


* сравнили C альтернативами 


* понравился PowerDNS Auth (бекенды, lua), он Ha C++ 
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I ат no longer using So I'm just going To 
recycle it 


@System32Comics 
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Свои бекенд coredns 


* сравнили C альтернативами 
* понравился PowerDNS Auth (бекенды, lua), он Ha C++ 
• команда го-разработчиков 

• плагины, бекенды, tracing, dnstap, rfc compliance 


• портирование geodns со своими патчами 
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Тестирование DNS-cepBepa 


• flamethrower (нагрузочная “стрелалка") 
* respdiff (сравнение ответов разных ОМ5-серверов) 
* dig, bash и ‘интеллектуальная собственность” в drone с! 


* perf, flamescope при анализе проблем производительности 
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Давайте продавать наш DNS 
e Между CDN balancer и дпѕ-серверами добавили DNS АРІ 


* Понали что y клиентов совершенно другие запросы 
e Пока нет клиентов DNSaaS c 80 точками присутствия 


(AL) HighLoad ” 


Location: ype: Period: 


World v Resolver Simulation Uptime Quality Last 30 days - 


DNS name Query Speed 0 20 40 60 80 100 120 140 160 180 200 
WordPress.com 15.38 ms — 
Cloudflare 16.54 ms — 
Gransy AnycastDNS 16.65 ms — 
dnsimple 19.22 ms —— 
DigitalOcean 21.66 ms ——— 
G-Core 22.36 ms — 
№51 23.4 ms A 
DNSMadeEasy 24.97 ms — 
Constellix 25 ms = 
Rage4 26.33 ms 3 
UltraDNS 21.33 ms — 
Zilore 29.72 ms — 
Verizon ROUTE 30.92 ms z 
Route53 33.16 ms = 
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Будущее 


e Использование данных BGP для активных проверок 
е Эффективная утилизация каналов между IX/transit через DNS 


• "откуда -> куда", а "тут могут принять такой-то трафик" 
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Ворох проблем 


опасность каскадного отключения 


провайдер может использовать несколько апстримных dns- 
серверов в разных регионах 


некорректная балансировка — постоянное обновление “карты” 


DPI может проверять ір-адрес по SNI 
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Вопросы? 
* konstantin at neuroops.link 


е https://t.me/kostya keeper 
* https://twitter.com/clickfreakbit/ 
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